Dance2Music: Automatic Dance-driven Music Generation

Dance and music typically go hand in hand. The complexities in dance, music, and their synchronisation make them fascinating to study from a computational creativity perspective. While several works have looked at generating dance for a given music, automatically generating music for a given dance remains under-explored. This capability could have several creative expression and entertainment applications. We present some early explorations in this direction. We present a search-based offline approach that generates music after processing the entire dance video and an online approach that uses a deep neural network to generate music on-the-fly as the video proceeds. We compare these approaches to a strong heuristic baseline via human studies and present our findings. We have integrated our online approach in a live demo! A video of the demo can be found here:

ダンスと音楽は一般的に密接に結びついています。ダンス、音楽、そしてそれらの同期には複雑な要素が含まれており、計算創造性の観点から研究するには魅力的です。与えられた音楽に合わせてダンスを生成する研究はいくつかありますが、与えられたダンスに合わせて音楽を自動的に生成する研究はまだありません。この機能は、創造的な表現やエンターテイメントへの応用が考えられる。本研究では、この方向性についての初期の研究を紹介する。ダンス動画全体を処理してから音楽を生成する検索ベースのオフラインアプローチと、動画の進行に合わせてオンザフライで音楽を生成するディープニューラルネットワークを用いたオンラインアプローチを紹介する。これらのアプローチを、人間の研究によって強力なヒューリスティックベースラインと比較し、その結果を発表します。私たちのオンラインアプローチは、ライブデモに組み込まれています。デモのビデオはこちらでご覧いただけます。